ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment
ABSeeker：基于答案回溯的细粒度信用分配训练长期搜索代理
🧭 搜索代理训练 · 步骤级信用分配 ★ 深度解读
Shanghai Jiao Tong University
提出答案回溯的细粒度信用分配框架，为搜索代理的每一步提供密集步骤级监督，4B模型性能超越同规模甚至比肩30B模型。
📌 工作参考价值（4 点）
- 步骤级信用分配可迁移到多步检索/推荐系统：在电商多轮对话或深度搜索推荐中，轨迹稀疏奖励问题同样突出，可借鉴答案回溯方法，利用最终正确结果（如成交、满意答案）反向推导中间关键证据（如关键商品属性、比较点），为每一步对话或检索动作生成密集奖励，改善策略学习。
- SFT中奖励加权损失提升数据利用率：ABC-SFT通过sigmoid函数将步骤评分映射为损失权重，对高质量步骤加强学习，对错误步骤抑制信号，可推广到有过程标注的业务微调中，比如用规则或LLM为会话中的每个召回/排序动作打分后加权训练。
- RL中引入步骤级优势提升探索：ABC-GRPO的折扣步骤优势（γ=0.25）将未来步骤奖励合理传播，可应用于线上强化学习调优推荐策略，替代粗糙的结局奖励，让模型更精准地关联动作与最终收益。
- 线索锚定的评分模板工程化：使用预设的加分/扣分规则表（发现正确线索+0.8、错误排除-0.8等）对每一步进行结构化评分，易于在业务中复现，尤其适合约束明确、答案可验证的任务（如搜索词纠错、知识库问答）。